Model Complexity | Machine Learning | Pusan National University

편향의 제곱여러 학습 표본에서 얻은 적합의 기댓값과 참 관계의 차이를 제곱한 값이다.

분산학습 표본이 바뀔 때 적합이 흔들리는 정도다.

기대 테스트 MSE편향의 제곱 + 분산 + Var(ε)이며 학습 표본의 변동에 대해 기댓값을 낸 오차다.

참 관계와 자료량에 따라 오차가 가장 작은 복잡도가 달라진다

참 관계와 학습 자료량을 바꾸면 복잡도별 편향의 제곱과 분산, 그 합, 기대 테스트 MSE가 가장 작은 행이 바뀐다. 표의 수치는 실제 자료에서 잰 값이 아니라 이 관계를 보이도록 가정한 값이다.

참 관계

학습 자료량

복잡도	편향의 제곱	분산	Var(ε)	기대 테스트 MSE

각 행에서 세 항을 더해 기대 테스트 MSE를 계산한다. 파란 행과 초록 테두리 칸이 합이 가장 작은 복잡도다.

모델 복잡도와 자료량을 바꾸면 학습 표본 A와 B에서 얻은 두 적합의 모양과 둘 사이의 거리가 바뀐다.

모델

학습 자료량

회색 점선은 참 관계, 파란 실선은 표본 A의 적합, 초록 점선은 표본 B의 적합이다. 빨간 세로선은 두 적합이 가장 멀리 떨어진 위치의 거리다.